Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
异构多智能体 LLM 的免预填充跨家族 KV 缓存迁移
🧭 多智能体异构 LLM 缓存迁移
University of Southern California, USA · Seoul National University, Republic of Korea · New York University, USA
冻结两端模型，通过结构对齐、映射与校准实现跨家族 KV 缓存迁移，免预填充加速异构多智能体通信
📌 工作参考价值（4 点）
- 多角色 Agent 系统若采用不同模型家族（如大模型做规划、小模型做执行），在共享长上下文（如用户历史、商品列表、prompt 模板）时，优先用 KV cache 迁移替代重新 prefill，可显著降低首 token 延迟。
- 跨模型 KV 对齐可采用“冻结两端 + 小型映射器/校准器”的方式，不扰动原有模型权重，部署风险低；若要落地，可在固定模型对（如主链路模型↔轻量 reranker）预训练映射器。
- 长上下文收益更大（32K 下加速 10.7×），适合电商会话中拼接长商品序列、多轮决策历史；短上下文也有收益但需评估额外映射开销。
- 该方法与文本通信在多智能体基准上表现持平，说明在可靠映射下可无精度损失换取推理加速，适合对延迟敏感的在线 Agent 编排。